Anh Thy tên thật là Phạm Văn Khổn, sinh ngày 20 tháng 1 năm 1943 tại Thái Bình. Từ nhỏ, anh đã theo gia đình di cư vào Nam.

Năm 1964, anh nhập ngũ Quân lực Việt Nam Cộng hòa và theo học tại Trung tâm huấn luyện Hải quân Nha Trang. Sau khi tốt nghiệp, anh được điều về Hải đoàn Xung Phong 32 một thời gian trước khi về công tác tại Phòng Tâm lý chiến trực thuộc Bộ tư lệnh Hải lực Việt Nam Cộng hòa cùng với một số nhạc sĩ khác như Mặc Thế Nhân, Nguyễn Vũ,... Hai nhạc sĩ có công nâng đỡ anh nhiều nhất lúc này là Y Vân và Trần Thiện Thanh. Từ đó, anh bắt đầu sáng tác nhạc về chủ đề Hải quân Việt Nam Cộng hòa với bút danh Anh Thy và được thăng đến hàm Trung sĩ.

Ngày 21 tháng 4 năm 1973, xe dodge chở phái đoàn dân sự từ Cam Ranh đi Quy Nhơn bị lật, do bị giật mìn của quân Việt Cộng, Anh Thy là người duy nhất tử nạn trên chuyến xe đó. Bộ tư lệnh Hải quân Việt Nam Cộng hòa sau đó đã truy thăng anh từ cấp bậc Trung sĩ lên Thượng sĩ.